0.01%参数定生死!苹果揭秘LLM「超级权重」,删掉就会胡说八道
0.01%参数定生死!苹果揭秘LLM「超级权重」,删掉就会胡说八道苹果研究人员发现,在大模型中,极少量的参数,即便只有0.01%,仍可能包含数十万权重,他们将这一发现称为「超级权重」。超级权重点透了大模型「命门」,使大模型走出「炼丹玄学」。
来自主题: AI技术研报
8455 点击 2025-09-06 11:27
搜索
苹果研究人员发现,在大模型中,极少量的参数,即便只有0.01%,仍可能包含数十万权重,他们将这一发现称为「超级权重」。超级权重点透了大模型「命门」,使大模型走出「炼丹玄学」。